AURA: Agentic Diagnosis and Refinement for Production Recommender Systems at Scale
AURA:生产级推荐系统的智能体诊断与代码级优化
🧭 Agent 驱动的推荐系统诊断与代码级优化 ★ 深度解读
The Walt Disney Company, San Francisco, CA, USA
用分层 LLM Agent 从真实会话日志中自动诊断推荐失败模式,并生成代码级修复提案
📌 工作参考价值(5 点)
- 分层聚合框架可复用到电商故障诊断:把 LLM 逐会话判断作为原料,再经分类→合并→采样→分析→验证→综合六步漏斗,产出带严重度、证据和根因假设的失败分类法。可类比识别“高利润商品过度推给价格敏感用户”“长尾库存被埋没”等细分问题,替代人工切片分析。
- 封闭分类法优于开放式:初始发现阶段后锁定类别词汇,避免类别漂移和清理开销。工程上使用数据库支撑的提示模板,支持版本化和回滚,且能通过配置层切换平台。
- 防御性验证层必须做:每个 LLM 输出边界加程序化检查:会话 ID 存在性、JSON schema 校验、代码文件路径验证,防止幻觉标识符和错误引用。这是生产环境可信度的关键,尤其适用于代码生成和数据分析 Agent。
- 多模型路由控成本:高容量分类/合并用轻量模型(如 Flash),低容量分析/验证/综合用前沿模型,可将下游分析成本控制在总成本的 1-8%。
- 离线闭环筛选是廉价门槛:对诊断出的失败模式生成修复代码后,先在诊断队列上离线评估,能快速否决无效改动,避免消耗 A/B 资源。即使是看似合理的特征交叉也可能无效。